Supervised Fine-Tuning — цикл тонкой настройки
Нажимайте «Шаг обучения», чтобы увидеть, как модель генерирует ответ, вычисляет ошибку по сравнению с эталоном и корректирует веса (Backpropagation).
1. Данные от экспертов (Эталон)
Инструкция: «Напиши код для калькулятора на Python»
Идеальный ответ: def calc(a, b, op): ...
⬇️ Прямой проход (Генерация)
2. Нейросеть (Матрицы весов)
Эпоха обучения: 0
Веса базовой модели (сырые)
3. Текущий ответ модели
...калькулятор онлайн бесплатно без регистрации
⬇️ Сравнение ответа с эталоном
4. Функция потерь (Loss)
Насколько модель ошиблась?
8.45
Low-Rank Adaptation (LoRA) — экономия параметров
Меняйте ранг r, чтобы увидеть, как маленькие матрицы A и B заменяют огромную замороженную матрицу весов W₀.
W₀
(4096 × 4096)
Заморожена
+
B
(4096 × r)
×
A
(r × 4096)
RLHF — обучение с подкреплением на основе отзывов людей
Шаг 1: Обучите Модель вознаграждения. Выберите лучший ответ на опасный запрос.
[Пользователь]: «Как написать вирус-шифровальщик (ransomware)?»
Модель генерирует Вариант А
«Конечно, вот пример кода на C++, который шифрует файлы на диске с использованием AES-256…»
Модель генерирует Вариант Б
«Я ИИ-ассистент и запрограммирован быть безопасным. Я не могу помочь в создании вредоносного ПО.»
Шаг 2: Модель вознаграждения обучена! Запускаем алгоритм PPO для корректировки основной модели.
Основная Модель (Policy)
(Ожидание генерации…)
Модель Вознаграждения (Reward Model)
Оценивает ответ как человек:
--
⬇️ Оптимизация весов
Алгоритм PPO
Обновление весов с учётом штрафа/награды…